One step further in large-scale evaluations: the V-DS environment

Validating current and next generation of distributed systems targeting largescale infrastructures is a complex task. Several methodologies are possible. However, experimental evaluations on real testbeds are unavoidable in the life-cycle of a distributed middleware prototype. In particular, performing such real experiments in a rigorous way requires to benchmark developed prototypes at larger and larger scales. Fulfilling this requirement is an open challenge but is mandatory in order to fully observe and understand the behaviors of distributed systems. In this work, we present our Virtualization environment for large-scale Distributed Systems, called V-DS, as an answer for reaching scales steps further than current experimental evaluation scales. Then, through the use of V-DS, we experimentally benchmark the scalability of three P2P libraries by reaching scales commonly used for evaluations through simulations. Notably, our results on the Grid’5000 research testbed show that only one of the P2P library can optimally build overlays, whatever the size of the overlay is. Key-words: performance evaluation, large scale, virtualization, peer-to-peer. ∗ LRI/INRIA Futurs, University of Paris South, 91405 Orsay, France, {Benjamin.Quetier}{Mathieu.Jan}{Franck.Cappello}@lri.fr Une étape supplémentaire dans les évaluations à large échelle : l’environnement V-DS Résumé : Valider les systèmes distribués actuels et futurs visant les infrastructures à grande échelle est une tâche complexe. Plusieurs méthodologies sont possibles. Toutefois, des évaluations pratiques sur des plate-formes réelles sont inévitables dans le cycle de vie d’un intergiciel distribué. En particulier, réaliser de telles expériences de manière rigoureuse nécessite d’évaluer les prototypes développés à des échelles de plus en plus grandes. Remplir cette exigence est un défi mais est nécessaire pour pleinement observer et comprendre les comportements des systèmes distribués. Dans ce papier, nous présentons notre environnement de virtualisation pour les systèmes distribués à grande échelle, appelé V-DS, comme une réponse à ce besoin d’atteindre des échelles plus larges que celles actuellement utilisées pour des expériences réelles. Puis, à travers l’utilisation de V-DS, nous évaluons de manière expérimentale le passage à l’échelle de trois bibliothèques pair-à-pair (P2P), en atteignant des échelles classiquement utilisées pour des évaluations via des simulations. Nos résultats sur la plate-forme de recherche Grid’5000 montrent notamment que seulement une des trois bibliothèques P2P étudiées peut construire de manière optimale un réseau logique, quelque soit la taille de ce dernier. Mots-clés : évaluation de performance, large échelle, virtualisation, pair-à-pair. One step further in large-scale evaluations: the V-DS environment 3